Lâm Phượng Tường mất mẹ từ nhỏ, được cha chiều chuộng không quản thúc, sinh hoạt phóng đãng không biết giữ gìn. Năm Đạo Quang thứ 28 (1848), vì đánh chết người có thân thế trong huyện, chú bảy là Lâm Tú Trung bán bốn con heo làm lộ phí cho ông bỏ trốn. Phượng Tường lăn lộn giang hồ, bày hàng bán quẻ, qua đó gặp gỡ Hồng Tú Toàn, Dương Tú Thanh. Ngày 11 tháng 1 năm Hàm Phong đầu tiên (1851), ông tham gia khởi nghĩa Kim Điền, là một trong 40 anh em kết bái với Hồng Tú Toàn.

Khi Hồng Tú Toàn kiến quốc tại Vĩnh An, Phượng Tường được thụ làm Ngự lâm thị vệ. Tháng 4 năm Hàm Phong thứ 2 (1852) ông theo Tây vương Tiêu Triều Quý từ Vĩnh An lên phía bắc, tháng 6 tiến vào Hồ Nam, chiếm Đạo Châu, liên tiếp hạ được các nơi Giang Hoa, Vĩnh Minh, Quế Dương Châu, Sâm Châu… Ngày 11 tháng 9, quân Thái Bình tiến đến chân thành Trường Sa, Phượng Tường chiếm lấy đồi cao ở phía nam thành, từ đó nổ pháo oanh kích, khiến cho quân Thanh tan rã. Ông được thăng làm Thổ quan chánh tướng quân. Ngày 2 tháng 12, quân Thái Bình đánh hạ Ích Dương, Dương Tú Thanh lệnh cho Lâm Phượng Tường, Lý Khai Phương soái lĩnh cánh quân tiên phong đi đánh Nhạc Châu và Hán Dương. Chưa đến 10 ngày, hạ được Hán Dương, ông được thăng làm Điện tả nhất chỉ huy.

Ngày 12 tháng 1 năm thứ 3 (1853), quân Thái Bình kết thuyền làm cầu, vượt Trường Giang tấn công Vũ Xương, Lâm, Lý lĩnh quân đi trước chôn địa lôi, làm nổ tung cửa thành. Họ xông vào, cùng quân Thanh giao chiến kịch liệt trong các ngõ hẻm, đánh bại quân Thanh, chiếm lấy Vũ Xương. Ngày 14 cùng tháng, Đông vương Dương Tú Thanh thăng Phượng Tường làm Điện tả nhất kiểm điểm. Không lâu sau, Thiên vương Hồng Tú Toàn lại gia phong ông làm Thiên quan phó thừa tướng.

Ngày 9 tháng 2, quân Thái Bình chia 2 đường thủy, lục tiến xuống phía đông. Lâm, Lý thụ mệnh thống lĩnh lục quân, nhanh chóng hạ được các nơi Cửu Giang, Đồng Lăng, Vu Hồ, phủ Thái Bình, Hòa Châu,… Ngày 19 tháng 3, ông tham gia đánh chiếm Nam Kinh.